与明星一起学数据、数据可视化和统计

Orange 是一个可视化的拖放式工具，用于

• 数据可视化
  
• 统计检验
• 机器学习
  
• 数据挖掘

等等。你可以从这里下载和安装 Orange：

https://orangedatamining.com/download/

• 让我们使用 数据集 小部件
• 点击它选择一个内置的 CSV 文件：Auto MPG
• 让我们使用 数据表 小部件查看数据
• 并使用 散点图 小部件创建散点图（马力 vs 排量）
• 尝试左侧的菜单选项，看看它们如何改变图表

史蒂文·斯蒂格勒（Steven Stigler, 2016）在《统计智慧的七大支柱》中写道：

• 统计学的重要思想之一是：聚合
• 它为什么具有革命性？
• 通过规定，给定多个观察值，你实际上可以通过丢弃信息来获得信息
• 在计算简单的算术平均值时，我们丢弃了测量值的个体性，将它们归并到一个汇总中。

• 那么现在 我们 要丢弃什么？如何丢弃？

• 让我们查看现有的数据集 Auto MPG
• 拖入 特征统计 小部件
• 将 数据集 小部件连接到 特征统计 小部件
• 欣赏生成的汇总统计信息

• 汇总就是理解。
• 加上这个事实，我们的工作记忆只能容纳大约 7 个项目，所以也意味着信息保留。
• 博尔赫斯写道，“思考就是忘记细节，概括，做出抽象。”在“《记忆广博的富内斯》”的熙攘世界里，只有细节。
• 布拉德·皮特 aka 比利·比恩（Billy Beane）正在丢弃细节，查看聚合后的图景来挑选他未来的奥克兰运动家队。

• 使用推测：
• 符号 -> 字母
• 基于众所周知的字母计数（齐普夫定律）
• 福尔摩斯推断出消息中最常见的字母是 “E”
• 然后他推断出第二常见的字母是 “T”

• 在《会计刺客》中，克里斯蒂安·沃尔夫被听到背诵”所罗门·格伦迪”，
• 这首童谣讲述了一个名叫所罗门·格伦迪的人的一生和死亡，都在一周内。
• 它最初是用来帮助孩子们学习一周几天的。
• 然而，当我们考虑到周四到周日详细说明了格伦迪先生因某种不明疾病而悲惨地结束…
• 很难忽视黑暗的暗示。

• 数据是一周的日子。
• 数据是每天发生的事件数量。
• y 变量是定量变量，一个数字
• x 变量也是定量变量，一个时间变量

• 数据是美国每天、每月、每年的出生数量
• 让我们使用 分组 小部件按 day_of_week 分组
• 并在同一小部件中计算 mean(births)
• 我们绘制 mean(births) vs month，并按 day_of_week 着色

• 时间序列数据是一种特殊的定量数据，其中 x 变量是时间变量。
• y 变量是定量变量，一个数字。
• x 变量是定量变量，一个时间变量。
• 通过按 day_of_week 着色，我们可以看到出生数量如何在一周的日子里变化。

这里的故事是什么？

• 周末医院可能会人手不足吗？
• 这是”显示偏好”的事情吗？
• 还是应该看《实习医生格蕾》，或者《豪斯医生》？

• 凯蒂·莱德基是一名游泳运动员，也是美人鱼。
• 她赢得了 7 枚奥运金牌和 15 枚世锦赛金牌。
• 她是 400、800 和 1500 米自由泳，以及 4x100 米自由泳接力和 4x200 米自由泳接力的世界纪录保持者。
• 这让她成为什么？异常值…

• 异常值是与其余数据显著不同的数据点。
• 它们可以使用箱线图来识别，箱线图显示数据的分布。
• 箱线图显示数据的中位数、四分位数和异常值。
• 当然，莱德基在水里！好 在。

• 让我们获取一些数据进行绘图：

• 让我们在 Orange 中使用预设的工作流 下载 Orange 箱线图工作流

• 箱线图告诉我们定量变量的分布，并显示异常值。
• 它们显示数据的中位数、四分位数和异常值。
• 它们用于比较定性变量之间的定量变量分布。（例如性别或职级）

这里的故事是什么？

• 薪水中可能存在系统性偏差吗？
• 统计 t 检验 / 方差分析 会告诉我们这是否属实。
• 在图中查找底部的 t 检验和方差分析报告。

• 加巴尔看到的”数据”是什么？

• 村庄的人数和持有武器的人数。（定量）
• 枪中的子弹数量（定量）
• 包含子弹的手枪弹膛 ID（定性）

• 因此，两个种族 afam 和 cauc 的电话百分比似乎不同
• 但这在统计上显著吗？加巴尔会感到惊讶吗？
• 让我们假装 ethnicity 无关紧要并旋转左轮手枪！！
• 我们搞乱种族变量大约 5000 次

• 我们无法模仿大自然母亲 aka 现实
• 红线是观察到的比例差异，它远远超出了零分布。
• 所以我们可以拒绝 ethnicity 无关紧要的零假设。
• 因此我们推断招聘过程中存在偏见，并且 afam 候选人受到歧视。